Long-form numerical reasoning in financial analysis aims to generate a reasoning program to calculate the correct answer for a given question. Previous work followed a retriever-generator framework, where the retriever selects key facts from a long-form document, and the generator generates a reasoning program based on retrieved facts. However, they treated all facts equally without considering the different contributions of facts with and without numbers. Meanwhile, the program consistency were ignored under supervised training, resulting in lower training accuracy and diversity. To solve these problems, we proposed APOLLO to improve the long-form numerical reasoning framework. For the retriever, we adopt a number-aware negative sampling strategy to enable the retriever to be more discriminative on key numerical facts. For the generator, we design consistency-based reinforcement learning and target program augmentation strategy based on the consistency of program execution results. Experimental results on the FinQA and ConvFinQA leaderboard verify the effectiveness of our proposed method, achieving the new state-of-the-art.
translated by 谷歌翻译
The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .
translated by 谷歌翻译
We study the classical Network Revenue Management (NRM) problem with accept/reject decisions and $T$ IID arrivals. We consider a distributional form where each arrival must fall under a finite number of possible categories, each with a deterministic resource consumption vector, but a random value distributed continuously over an interval. We develop an online algorithm that achieves $O(\log^2 T)$ regret under this model, with no further assumptions. We develop another online algorithm that achieves an improved $O(\log T)$ regret, with only a second-order growth assumption. To our knowledge, these are the first results achieving logarithmic-level regret in a continuous-distribution NRM model without further "non-degeneracy" assumptions. Our results are achieved via new techniques including: a new method of bounding myopic regret, a "semi-fluid" relaxation of the offline allocation, and an improved bound on the "dual convergence".
translated by 谷歌翻译
善解人意的回应的任务旨在了解说话者对自己的经历表达的感觉,然后适当地回复演讲者。为了解决任务,必须对话的内容情绪对偶性进行建模,该对话是由内容视图组成的(即描述了哪些个人经历​​)和情感观点(即,演讲者对这些经验的感觉)。为此,我们设计了一个框架,以通过分离促进响应生成来建模内容情感二元性(CEDUAL)。有了分解,我们从内容和情感视图中编码对话历史,然后根据删除表示形式产生善解人意的响应,从而可以将对话历史记录的内容和情感信息嵌入到生成的响应中。基准数据集促进性的实验表明,cedual模型在自动和人类指标上都达到了最先进的性能,并且它还比以前的方法产生更多的促进响应。
translated by 谷歌翻译
弱监督的视听暴力检测旨在区分包含带有视频级标签的多模式暴力事件的片段。许多先前的作品以早期或中间的方式执行视听整合和互动,但在弱监督的设置上忽略了模态异质性。在本文中,我们分析了多种实例学习(MIL)程序的模式异步和未分化的实例现象,并进一步研究了其对弱监督视听学习的负面影响。为了解决这些问题,我们提出了一种以自我验证(MACIL-SD)策略学习的方式感知的对比实例。具体而言,我们利用轻量级的两流网络来生成音频和视觉袋,其中单峰背景,暴力和普通实例以一种无监督的方式聚集到半袋中。然后,将音频和视觉剧烈的半袋表示作为正对组装,将暴力半袋与背景和正常实例相结合,以对比性负对。此外,将自我验证模块应用于将单峰视觉知识传输到视听模型,该模型减轻了噪音并缩小单峰和多模式特征之间的语义差距。实验表明,我们的框架在大规模XD-Violence数据集上的复杂性较低的方法优于先前的方法。结果还表明,我们提出的方法可以用作增强其他网络的插件模块。代码可在https://github.com/justinyuu/macil_sd上找到。
translated by 谷歌翻译
我们考虑了一个固定的销售库存控制系统,该系统在计划中$ t $上有交货时间$ l $。供应不确定,并且是订单数量(由于随机产量/容量等)的函数。我们的目标是最大程度地减少$ t $ - 周期成本,即使在已知的需求和供应分布下,该问题也已知在计算上是棘手的。在本文中,我们假设需求和供应分布均未知并开发出一种计算高效的在线学习算法。我们表明,我们的算法在$ O(l+\ sqrt {t}} $时,我们的算法(即我们的算法成本与最佳政策的成本之间的性能差异) (t)$。我们这样做1)显示我们的算法成本最多,最多$ o(l+\ sqrt {t})$对于任何$ l \ geq 0 $,与完整信息下的最佳恒定订单策略相比以及广泛使用的算法)和2)利用其现有文献的已知绩效保证。据我们所知,有限的样本$ O(\ sqrt {t})$($ l $中的多项式)遗憾的是,在在线库存控制文献中以前不知道针对最佳策略的基准标记。这个学习问题的一个关键挑战是,可以审查需求和供应数据。因此,只能观察到截短的值。我们通过证明在订单数量$ q^2 $中生成的数据允许我们模拟全部$ q^2 $的性能,还可以模拟所有$ q^1 $,从而避免了这一挑战。 $,即使在数据审查下,也可以获取足够信息的关键观察。通过建立高概率耦合参数,我们能够在有限的时间范围内评估和比较其稳定状态下不同顺序策略的性能。由于该问题缺乏凸度,因此我们开发了一种活跃的消除方法,可以适应地排除次优的解决方案。
translated by 谷歌翻译
尽管事实证明,视听表征适用于许多下游任务,但舞蹈视频的表示,这是更具体的,并且总是伴随着具有复杂听觉内容的音乐,但仍然具有挑战性且没有评估。考虑到舞者和音乐节奏的节奏运动之间的内在结合,我们介绍了Mudar,这是一个新颖的音乐舞蹈表示学习框架,以明确和隐性的方式执行音乐和舞蹈节奏的同步。具体而言,我们根据音乐节奏分析启发的视觉外观和运动提示得出舞蹈节奏。然后,视觉节奏在时间上与音乐对应物对齐,这些音乐由声音强度的幅度提取。同时,我们利用对比度学习在音频和视觉流中隐含的节奏的隐式连贯性。该模型通过预测视听对之间的时间一致性来学习关节嵌入。音乐舞蹈表示以及检测音频和视觉节奏的能力,可以进一步应用于三个下游任务:(a)舞蹈分类,(b)音乐舞蹈检索,以及(c)音乐舞蹈重新定位。广泛的实验表明,我们提出的框架以大幅度优于其他自我监督方法。
translated by 谷歌翻译
识别和本地化视频中的事件是视频理解的基本任务。由于事件可能发生在听觉和视觉方式中,因此多式联合的详细感知对于完全的场景理解至关重要。最先前的作品试图从整体角度分析视频。但是,它们不考虑多个尺度的语义信息,这使得模型难以定位各种长度的事件。在本文中,我们提供了一个多模式金字塔注意网络(MM-PYRAMID),用于捕获和集成多级时间特征,用于视听事件定位和视听视频解析。具体而言,我们首先提出了专注特征金字塔模块。该模块通过多个堆叠金字塔单元捕获时间金字塔特征,每个单元都由固定尺寸的注意力块和扩张的卷积块组成。我们还设计了一种自适应语义融合模块,它利用单位级注意块和选择性融合块以交互地集成金字塔特征。对视听事件定位的广泛实验和虚线监督的视听视频解析任务验证了我们方法的有效性。
translated by 谷歌翻译
我们考虑一个一般的在线随机优化问题,在有限时间段的视野中具有多个预算限制。在每个时间段内,都会揭示奖励功能和多个成本功能,并且决策者需要从凸面和紧凑型措施中指定行动,以收集奖励并消耗预算。每个成本函数对应于一个预算的消费。在每个时期,奖励和成本函数都是从未知分布中得出的,该分布在整个时间内都是非平稳的。决策者的目的是最大化受预算限制的累积奖励。该配方捕获了广泛的应用程序,包括在线线性编程和网络收入管理等。在本文中,我们考虑了两个设置:(i)一个数据驱动的设置,其中真实分布未知,但可以提供先前的估计(可能不准确); (ii)一个不信息的环境,其中真实分布是完全未知的。我们提出了一项基于统一的浪费距离措施,以量化设置(i)中先验估计值的不准确性和设置(ii)中系统的非平稳性。我们表明,拟议的措施导致在两种情况下都能获得统一后悔的必要条件。对于设置(i),我们提出了一种新的算法,该算法采用了原始的偶视角,并将基础分布的先前信息集成到双重空间中的在线梯度下降过程。该算法也自然扩展到非信息设置(II)。在这两种设置下,我们显示相应的算法实现了最佳秩序的遗憾。在数值实验中,我们演示了如何将所提出的算法与重新溶解技术自然整合,以进一步提高经验性能。
translated by 谷歌翻译
In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译